hLLM: Single Pass Decoding for Generative Reranking
hLLM：单次前向解码生成式重排
🧭 生成式重排 · 匈牙利解码 ★ 深度解读
Meta Platforms, Inc.
用匈牙利算法从 LLM 隐状态矩阵直接解出排序序数，以 O(1) 次前向替代逐 token 自回归解码，实现 28ms 近无损重排
📌 工作参考价值（4 点）
- 重排场景可将 LLM 输出从「逐 token 生成序数」改为「prefill 隐状态 → N×K 分数矩阵 → 匈牙利/LAPJV 求解」，推理从 O(N·T) 降为 1 次前向；N≤50 时 solver 在 CPU 约 0.008ms，适合广告/电商候选集实时重排。
- 训练用离线 teacher 蒸馏：大模型对每个 slate 生成完整排列，学生用 Sinkhorn 交叉熵拟合；无需在线 rollout，避免 exposure bias，蒸馏工程成本低。
- 自注意力 scoring head 表现最好：candidate 表示过 2 层 self-attention 再投影到 K 个位置，优于线性 probe 和 slot-query；LoRA 适配 backbone 后优势更明显。
- 去除 teacher 的 reasoning trace 对排序质量几乎无损失，可直接输出序数，省去大量解码 token；LoRA 是吸收排列蒸馏信号的关键。